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Нейромережний підхід 
до комп'ютерного розпізнавання облич 


У даній статті представлено підхід до розпізнавання облич на основі комбінованого каскаду нейромережних 
класифікаторів, методу головних компонент та згорткової нейронної мережі. Наведено результати 
експериментальних досліджень етапів виявлення, визначення ракурсу та розпізнавання облич порівняно з 
відомими методами. 


Вступ 


Комп'ютерна ідентифікація людини за зображенням обличчя є одним із напрям- 
ків біометричної індустрії, який найдинамічніше розвивається і займає близько 1295 
ринку сучасних біометричних технологій |1). Привабливість даного напрямку пояс- 
нюється тим, що у такий же спосіб, як правило, люди ідентифікують один одного. 
До переваг систем комп'ютерного розпізнавання облич (РО) також слід віднести від- 
сутність потреби у дорогому або спеціальному обладнанні, а також пасивну взаємо- 
дію з людиною, коли не потрібний фізичний контакт із відповідними пристроями. 
Головним недоліком систем комп'ютерного РО є нижча достовірність розпізнавання, 
ніж у систем на основі таких біометричних ознак, як сітківка ока та відбиток пальця. 

Основним завданням системи комп'ютерного розпізнавання облич є автома- 
тичне віднесення досліджуваного об'єкта (зображення обличчя), заданого сукупністю 
спостережень, до одного із взаємовиключних класів (людей), або формування виснов- 
ку про те, що об'єкт не відноситься до жодного із відомих класів. Такі системи, як пра- 
вило, складаються із двох основних частин: виявлення і, власне, розпізнавання облич. 
Ціллю процедури виявлення є знаходження координат усіх облич, присутніх на зобра- 
женні, а також максимальне відкидання фонових ділянок, що зменшує об'єм оброблю- 
ваної інформації для процедури розпізнавання. При цьому інформаційні технології 
виявлення облич (ВО) впроваджені з використанням різних за характеристиками апа- 
ратних засобів: від персональних комп'ютерів до портативних пристроїв. Тому основ- 
ними вимогами до процедури ВО є достовірність і швидкодія в умовах обмежених 
обчислювальних ресурсів. Відомі підходи до ВО поділяються на ряд груп |2|, проте 
слід виділити методи, що базуються на моделюванні зображення обличчя. За крите- 
рієм достовірності (визначається комплексом наступних робочих характеристик: ймо- 
вірністю виявлення і ймовірністю хибної тривоги) більш ефективними є методи на 
основі моделювання зображення обличчя, які застосовують монолітні класифікатори: 
нейронні мережі (31, (41, апарат опорних векторів |35| та ін. Але більшу швидкодію 
демонструють методи ВО, що використовують каскадні класифікатори |6). Загалом 
методи ВО на основі моделювання зображення обличчя володіють ймовірністю вияв- 
лення близько 0,9 при ймовірності хибної тривоги 107 на складних тестових наборах і 
здатні обробляти зображення зі швидкістю десятків кадрів за секунду. 
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Для процедури розпізнавання облич розроблено декілька десятків методів, які 
використовують головні компоненти |7), штучні нейронні мережі |8|, лінійний ди- 
скримінантний аналіз |9| та інші. У |3| виділено два класи систем комп'ютерного 
розпізнавання, які відрізняються як за вимогами, що висуваються до даних систем, 
так і за способами вирішення задачі розпізнавання: 

1) пошук людини за зображенням обличчя у великій базі даних (база даних 
містить зображення облич 100 і більше людей; система, як правило, повертає декіль- 
ка найбільш подібних людей; критичним показником роботи є ймовірність хибної 
відмови; приклади таких систем - пошук у базі даних поліції або в Інтернеті); 

2) ідентифікація людини в реальному режимі часу (невелика або середня база 
даних; система або відносить вхідне обличчя до відомого класу, або приймає рішення, 
що воно належить до невідомого класу; критичним показниками роботи є ймовірність 
хибного прийняття і швидкодія розпізнавання; приклади таких систем - контроль 
доступу, відеоспостереження). 

У статті увагу зосереджено на розробці підходу до розпізнавання для другого 
класу систем, які у даний час інтенсивніше розвиваються у зв'язку із актуальністю 
проблем безпеки суспільства |8|. Реалізовано та експериментально досліджено нас- 
тупні складові узагальненої структури системи комп'ютерного розпізнавання: вияв- 
лення, визначення ракурсу, ідентифікація та класифікація облич. 


Методи виявлення облич на основі комбінованого 
каскаду нейромережних класифікаторів 


За результатами аналізу відомих методів ВО встановлено, що доцільно вико- 
ристати групу методів на основі моделювання зображення обличчя, які демонструють 
високу достовірність виявлення |2|. Обрані за базові методи ВО К. Гарсіа 1 М. Дела- 
кіс |4)| та П. Віоли 1 М. Джонса |6| мають, відповідно, або високу достовірність, або висо- 
ку швидкодію. Для подолання вказаних недоліків розроблено узагальнену інформаційну 
модель процесу ВО (рис. 1), яка використовує каскадний (багаторівневий) підхід до по- 
будови класифікатора позитивних/негативних прикладів і комбінацію в одному каскаді 
декількох гетерогенних класифікаторів. За допомогою даної моделі визначено функції 
та сформовано критерії роботи складових компонентів комбінованого каскаду класи- 
фікаторів, що дозволило запропонувати шляхи підвищення достовірності та швидкодії 
методів виявлення облич на півтонових і кольорових зображеннях. 
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Рисунок 1 - Узагальнена інформаційна модель процесу виявлення облич на основі 
багаторівневого комбінованого каскаду класифікаторів 
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На основі запропонованої моделі розроблено метод виявлення облич на півто- 
нових зображеннях, який базується на комбінованому каскаді нейромережних кла- 
сифікаторів (ККНК) (101. Як перший рівень даного комбінованого каскаду, що відпо- 
відає за виявлення облич-кандидатів, запропоновано використати каскад слабких 
класифікаторів (КСК) на основі Хаар-подібних ознак, який характеризується висо- 
кою швидкодією. Для другого рівня ККНК, що призначений для верифікації облич- 
кандидатів, запропоновано застосувати згорткову нейронну мережу (ЗНМ), яка в зада- 
чах класифікації володіє більшою стійкістю до деформацій вхідних образів, ніж інші 
відомі класифікатори, що дозволяє отримати високу достовірність виявлення. 

Для спрощення реалізації каскаду слабких класифікаторів запропоновано вико- 
ристати нейромережну технологію, коли КСК являє собою багатошаровий персепт- 
рон, що складається із рівнів (нейронних шарів), кожний з яких містить один і біль- 
ше слабких класифікаторів (нейронів). Входом для слабкого класифікатора є Хаар- 
подібна ознака прямокутної форми, яка складається зі «світлих» і «темних» прямо- 
кутників, а її значення РКеаї розраховується за формулою |б6Ї: 

Кеакх) з 5, Х5СМ, -5, Х5СМ, 
9 


де х - вхідне зображення, 5, та 5, - синаптичні ваги для всього прямокутника озна- 


ки і для Його темної частини відповідно, 5//М, та 5С/М, - суми пікселів всього пря- 
мокутника ознаки 1 його темної частини відповідно. Вихідне значення слабкого кла- 
сифікатора й знаходиться наступним чином (б): 
й 1, якщо РКеаї(х) « 0 
МЕ - 1, якщо Кеаї(х) » 0, 
де 0 - порогове значення слабкого класифікатора. У свою чергу вихідне значення 
КСК Н являє собою лінійну комбінацію слабких класифікаторів |бЇ: 


нозУл,хО, 


де Т - кількість слабких класифікаторів, 7, - вага / -слабкого класифікатора. 


Для верифікації облич-кандидатів в рамках ККНК запропоновано використати 
згорткову нейронну мережу із площинами, які здійснюють 1 згортку, і підвибірку 
одночасно (рис. 2), що дозволило у 2,7 рази зменшити кількість елементарних опера- 
цій для обробки вхідного зображення у порівнянні із ЗНМ, використаною у методі ВО 
К. Гарсіа та М. Делакіс. Для генерації структури ЗНМ розроблено алгоритм, який до- 
зволив автоматизувати проектування несиметричної розрідженої структури мережі (10). 


32х36 14х16 5х6  Іїхі хі 


Обличчя? 
1-1; 1) 


Рисунок 2 - Структура згорткової нейронної мережі для ККНК 
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Враховуючи, що в ЗНМ використано біполярну сигмоїдну функцію активації, 
вихідне значення нейрона У з координатами (т, п) р-площини /-шару знаходиться 


за формулою: 
2 
1-- ехр( И5(М"? (х)) 


туп 


р ш- 
пп (х) і 2 
а зважена сума нейрона //УГ/М у свою чергу обчислюється згідно з наступним виразом: 


К-1К-1С-1 


УМГ ОС) з У У упачо( 0 х Рв", 


Ке0ге0 се 


де К - кількість вхідних площин, К та С - висота і ширина ядра згортки, у/"" - 


тс 
синаптична вага з координатами (7, с) у ядрі згортки між К-площиною (/-1)-шару і р- 
площиною /-шару, 5"? -- порогове значення нейронів р-площини /-шару, Упор (0) - 


вихідне значення (/-1)-шару К-площини з координатами (2т-- г, 2п-кс). 

Експериментальні дослідження достовірності розробленого методу ВО на основі 
ККНК, проведені на тестовому наборі півтонових зображень Сагпебіє МеПоп (Ллиуег- 
зїїу (СМО) |31, показали (рис. 3), що даний метод за ймовірністю виявлення поступа- 
ється лише методу К. Гарсіа та М. Делакіс приблизно на 0,02 при ймовірності хибної 
тривоги 107, але при цьому демонструє у 8 разів більшу швидкодію (10). 

Враховуючи недоліки відомих методів верифікації облич-кандидатів (П. Віоли та 
М. Джонса, К. Гарсіа та М. Делакіс), вдосконалено метод верифікації, який базується на 
властивості ЗНМ обробляти вхідне зображення будь-якого розміру за один етап (10). 
В рамках вдосконаленого методу верифікації запропоновано механізм приймання об- 
лич, який передбачає занесення кандидата до масиву виявлених облич при досягненні 
порогового значення багатократних виявлень ЗНМ. Після прийняття кандидата як 
обличчя подальша Його перевірка по масштабу припиняється і здійснюється верифі- 
кація наступного кандидата. Це дозволило зменшити кількість симуляцій ЗНМ, а отже, і 
підвищити швидкодію ККНК на 1296 при ВО на тестовому наборі СМО. 
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Рисунок 3 - Порівняння достовірності методів виявлення облич на тестовому наборі 
СМОИ при ймовірності хибної тривоги 107" 


У результаті експериментальних досліджень достовірності вдосконаленого ме- 


тоду верифікації облич-кандидатів показано, що за рахунок його застосування у 
комбінованому каскаді нейромережних класифікаторів ймовірність виявлення на 
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тестовому наборі СМ при фіксованій ймовірності хибної тривоги, рівній 107, 
підвищено на 0,18 порівняно із методом верифікації П. Віоли та М. Джонса, на 0,05 -- 
порівняно з тим же методом, але з перевіркою всіх багатократних виявлень 1 на 0,004 -- 
порівняно із методом К. Гарсіа та М. Делакіс (10). 

Враховуючи, що ЗНМ використано не самостійно, а в рамках ККНК, на перших 
рівнях якого відкидається більшість фону, запропоновано забезпечити низьку похиб- 
ку класифікації на позитивних прикладах. Відомий метод формування активної нав- 
чальної вибірки Г. Роулі (|3| позбавлений зворотнього зв'язку між процесом навчання 
і похибкою класифікації на позитивних прикладах оціночної вибірки. Тому даний 
метод вдосконалено, використавши параметричну адаптацію структури активної нав- 
чальної вибірки ЗНМ, яка визначається врахуванням адаптивного співвідношення 
позитивних/негативних прикладів РЕК, що додаються до активної навчальної ви- 
бірки на кожній епосі навчання |10): 


РЕК - 0,1, якщо РЕЕ «0,01 


РЕК - ; 
РЕК - 0,1, якщо РЕЕ» 0,01 


де РЕЕ - абсолютна похибка класифікації на оціночній вибірці позитивних прикла- 
дів. Порогове значення для РЕЄЕ , як і крок зміни РЕК, вибрано експериментально. 
На кожній епосі активного навчання настройка синаптичних ваг у» та порогів Р 
ЗНМ здійснюється згідно з наступними співвідношеннями алгоритму зворотнього 
розповсюдження помилки |! 1): 
М-1М- 


Пра Ір ер ' уз Ір ік 
Ди; тах рр хЕ( т. а У пес ? 


тей паб 


М -1 М 
дБ за? х 3 У уки х Е'ИЗОМИ 
тей пеб 
де адаптивний крок навчання с для р-площини /-шару розраховується за формулою: 
М -1 М 


2 ум ХЕИЗОМ!) 


ХСТМСТАСТКОІС 


ЕЧвух (ІЧ зна ЗХ УУпо у х(Е" РОМ 


Ке0 теб пед ге0 се те пед 


, 
а 


де М та МУ - висота і ширина р-площини /-шару, жа - помилка нейрону з коорди- 


натами (т, п) на р-площині /-шару, ЕГ - функція активації. 

Експериментальні дослідження показали, що при навчанні ЗНМ за допомогою 
методу формування активної навчальної вибірки Г. Роулі абсолютна похибка класи- 
фікації для позитивних прикладів оціночної вибірки становить 0,03 - 0,05, тоді як 
при використанні вдосконаленого методу - не перевищує 0,02 (10). Удосконалений 
метод формування активної навчальної вибірки ЗНМ дозволив підвищити ймовір- 
ність виявлення комбінованого каскаду нейромережних класифікаторів при фіксова- 
ній ймовірності хибної тривоги, рівній 107, на 0,2 - 0,4 на тестовому наборі СМО у 
порівнянні із застосуванням методу Г. Роулі. 

На основі експериментальних досліджень для запропонованих методів ВО знай- 
дено раціональні значення для наступних параметрів: порогові значення багатократ- 
них виявлень облич-кандидатів 1 облич, коефіцієнти площин і зв'язаності ЗНМ, кіль- 
кість епох навчання ЗНМ та інші, що дозволило досягнути найвищих показників 
достовірності і швидкодії виявлення на основі ККНК. 
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Алгоритм визначення ракурсу обличчя 


Більшість сучасних систем розпізнавання гарантує найкраще розпізнавання об- 
личчя у випадку його найбільш фронтального виду. Як правило, зображення посту- 
пає на вхід системи із відеопотоку, що дозволяє отримати декілька зображень однієї 
й тієї ж людини у процесі руху. Тоді стає актуальною задача визначення ракурсу зо- 
браження для обрання найбільш фронтального з них. Для визначення ракурсу зобра- 
ження було запропоновано використати метод головних компонент. 

Метод головних компонент |7| - це один із способів зниження розмірності, що 
полягає у переході до нового ортогонального базису, осі якого орієнтовані по напря- 
мах максимальної дисперсії набору вхідних даних. Уздовж першої осі нового базису 
дисперсія максимальна, друга вісь максимізує дисперсію за умови ортогональності 
першої осі і так далі, остання вісь має мінімальну дисперсію з усіх можливих. Таке 
перетворення дозволяє зменшити обсяг інформації шляхом відкидання координат, 
що відповідають напрямам з мінімальною дисперсією. Передбачається, що якщо нам 
потрібно відмовитися від одного з базисних векторів, то краще, якщо це буде той 
вектор, уздовж якого набір вхідних даних міняється менш суттєво. 

Метод головних компонент широко використовується при рішенні задачі роз- 
пізнавання облич на зображенні. Застосування цього методу для завдання розпізна- 
вання людини по зображенню обличчя має наступний вигляд. Вхідні вектори є від- 
центрованими і приведеними до єдиного масштабу зображеннями облич. Для усього 
набору зображень облич обчислюються власні вектори, які також називають власни- 
ми обличчями. За допомогою обчислених раніше матриць вхідне зображення розкла- 
дається на набір лінійних коефіцієнтів, що називаються головними компонентами. 
Для кожного зображення обличчя обчислюються його головні компоненти. Процес 
розпізнавання полягає в порівнянні головних компонент невідомого зображення з 
компонентами усіх інших зображень. Для цього зазвичай застосовують яку-небудь 
метрику (простий випадок - Евклідова відстань). При цьому передбачається, що з0- 
браження облич, що відповідають одній людині, згруповані в кластери у власному 
просторі. З бази даних (чи навчальної вибірки) вибираються зображення-кандидати, 
що мають найменшу відстань від вхідного (невідомого) зображення. Особливістю 
методу головних компонент є те, що при зміні ракурсу зображення настає момент, 
коли реакція на ракурс зображення перевищує реакцію на міжкласові розбіжності. 
Цю властивість і було застосовано для аналізу ракурсу зображення. 

Було сформовано 5 класів зображень, кожен клас відповідав повороту обличчя 
поза площиною на 0, 15, 30, 45 або 60 градусів відповідно. Навчання та тестування 
проводилось з використання бази зображень Плтізі |12| (рис. 4). 


0" 30" 


Рисунок 4 - Приклади зображень з бази (Лпі5і 
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Таким чином, у кожному класі знаходилися зображення різних людей, обличчя 
яких знаходилось у одному і тому ж ракурсі. Згідно з методом головних компонент 
отримані власні обличчя для наведених ракурсів зображення (рис. 3). 

При проведенні експерименту використано тестову (160 зображень) та кон- 
трольну (213 зображень) вибірки. В результаті проведених досліджень ймовірність 
вірного визначення ракурсу зображення становила 84,60. 


З 


450 600 


Рисунок 5 - Власні обличчя для різних ракурсів зображення 


Алгоритм розпізнавання облич на основі 
згорткової нейронної мережі 


Як базовий для розпізнавання облич використано метод С. Лоуренса |8|. З метою 
підвищення швидкодії розпізнавання даний метод застосовано без етапу зменшення 
розмірності зображення за допомогою карт Кохонена або методу головних компо- 
нент. Ідентифікацію ознак та класифікацію здійснено згортковою нейронною мере- 
жею, на вхід якої подавалися зображення облич, виявлені ККНК. 

Для кожної з використаних тестових вибірок експериментально підібрано 
структуру ЗНМ. На кількість шарів, розміри площин, кількість площин вихідного 
шару впливали розміри вхідних зображень та кількість класів у використаних тесто- 
вих вибірках: для АТ4сТ | 13| розмір вхідного зображення 76х92 пікселів і 40 класів, 
МУебег (14) - 100х100 пікселів і 19 класів, Уаїе |15| - 100х100 пікселів і 15 класів. 
Крім того, для кожної тестової вибірки експериментально підібрано раціональні 
значення кількості площин в прихованих шарах та розміри ядер згортки. Кількість 
площин вихідного шару дорівнювала кількості класів у вибірці. Зв'язки між площи- 
нами є асиметричними і розрідженими. Наприклад, структура ЗНМ для Уаіе наве- 
дена на рис. 6. Така згорткова нейронна мережа потребує приблизно 12 ме для оброб- 
ки одного вхідного зображення розміром 100х 100 пікселів. 

Для експериментальних досліджень кожну з вибірок випадковим чином роз- 
бито в рівних пропорціях на навчальну та оціночну. Навчання ЗНМ здійснено тільки 
на навчальній частині вибірки. При цьому використано алгоритм зворотнього поши- 
рення помилки з адаптивним кроком навчання (11). Висновок про належність кож- 
ного обличчя до певного класу приймався на основі максимального вихідного зна- 
чення площин останнього шару, яке повинне перевищувати заданий поріг. 

Для визначення раціонального порогового значення для виходу ЗНМ проведені 
експериментальні дослідження залежності ймовірностей правильного розпізнавання, 
помилок першого і другого роду від даного порогу. Як видно з рис. 7, на якому наве- 
дено дану залежність для тестової вибірки Уаїе, при пороговому значенні - 0,85 ймо- 
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вірність правильного розпізнавання рівна 0,93, при ймовірностях помилок 1-го 1 2-го 
родів - відповідно 0 1 0,07. 


Вхідне Шаро Шарі Шар 2 Шар 3 Шар 4 Шар 5 
зображення 5 площин 10 площин 20 площин 40 площин 30 площин 15 площин 
100х100 48х48 24х24 10х10 5х5 1х1 1хі 
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Рисунок 6 - Структура згорткової нейронної мережі для вибірки Уаїе 
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Порогове значення для виходу ЗНМ 


Рисунок 7 - Залежність достовірності розпізнавання від порогу згорткової нейронної 
мережі для вибірки Уаїіе 


Порівняння результатів розпізнавання облич на оціночних частинах всіх вико- 
ристаних у статті вибірок наведені у табл. І. 


Таблиця 1 - Результати розпізнавання облич на відомих тестових вибірках 


Имовірність | Ймовірність 
помилки 1-го | помилки 2-го 
роду роду 


Тестова | Кількість | Ймовірність правильного 
вибірка класів розпізнавання 


за рово| оз | 90 |.007 - 
ее ром | 01 | 9 Ц|.909 
тат б бло 
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Запропонований нейромережний підхід до розпізнавання програмно реалізовано 
з використанням бібліотеки комп'ютерного зору ОрепСУ в середовищі Місгобой 
Мізиа! 5їшдїо. Окремі результати роботи системи на статичних зображеннях представ- 
лені на рис. 8. 


Рисунок 8 - Результати роботи системи комп'ютерного розпізнавання облич 


Висновки 


У статті представлено узагальнену інформаційну модель процесу ВО, яка 
базується на багаторівневому комбінованому каскаді класифікаторів. На основі даної 
моделі розроблено методи виявлення облич для обробки півтонових і кольорових 
зображень, використовуючи комбінований каскад нейромережних класифікаторів, який 
складається із рівня сегментації за кольором шкіри та каскаду слабких класифіка- 
торів для виявлення облич-кандидатів і згорткової нейронної мережі для верифікації 
кандидатів. Також удосконалено методи верифікації облич-кандидатів, який базується 
на властивості ЗНМ обробляти вхідне зображення за один етап, і формування нав- 
чальної вибірки ЗНМ, що використовує параметричну адаптацію структури активної 
навчальної вибірки. ККНК дозволив отримати один із найкращих показників досто- 
вірності виявлення на тестовому наборі півтонових зображень Сагпеєіє МеПоп (Лпі- 
уегзіїу: ймовірність виявлення 0,88 при ймовірності хибної тривоги 107. 

Запропоновано враховувати ракурс обличчя при розпізнаванні. Програмно 
реалізовано та експериментально досліджено алгоритм ідентифікації та класифікації 
облич з використанням згорткової нейронної мережі. У ході експериментів визна- 
чено раціональні порогові значення для виходу ЗНМ, які дозволили досягти ймовір- 
ності виявлення 0,85 - 0,93 на відомих тестових вибірках Уаїе, М/ебег, ДібеТ при 
ймовірностях помилок 1-го 12-го роду відповідно 0 - 0,03 1 0,07 - 0,12. 
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И.О. Палий, А.О. Саченко, С.Г. Антощук, Т.О. Бурак 

Нейросетевой подход к компьютерному распознаванию лиц 

В данной статье представлен подход к распознаванию лиц на основе комбинированного каскада 
нейросетевьх классификаторов, метода главньх компонент и свернутой нейронной сети. Приведень 
результатьт зкспериментальньїх исследований зтапов вьтявления, определения ракурса и распознавания 
лиц в сравнений с известньїми методами. 


І.О. РайПу, А.О. 5аспепко, 5.С. Апіо5Писпик, Т.О. Вигак 

Меига! ХебуогК5 Арргоасі го Сопіритег Касе Весоєспійоп 

ТЬе арргоасії їо Їасе гесоєпійоп Базед оп Ме согабіпед сазсадез ої пешга! пебмогКк5я сіа85іПег5, паїп 
согропепія апа Фе сопуоіийопа! пешга! пебуогк5 теїродй 15 ргебепіеа. Те гезиїя ої ехрегітепіа! гезеагсі 
ої деїесбіоп, Гасе уміем/ гесорбпійоп апа ідепіїйсайоп їп соппрагі5оп ув їбе кпохуп текфод5 аге єїмеп. 


Стаття надійшла до редакції 01.07.2010. 
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